论文解析 | SAO：单轨迹异步优化在智能体强化学习中的应用

论文标题：Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning

作者：Zhenyu Hou*, Yujiang Li*, Jie Tang, Yuxiao Dong（清华大学）

发表时间：2026 年 7 月 8 日

论文链接：https://arxiv.org/abs/2607.07508

一、研究背景与动机

1.1 大模型强化学习的现状

大语言模型（LLM）的开发正从监督预训练转向后训练强化学习（RL）。研究表明，扩展 RL 计算与测试时计算是提升模型智能的有效方式（DeepSeek-AI, 2024a; OpenAI, 2024）。

传统 RL 流程的问题：

• 大多数 LLM RL 流程是同步且批交错的
• 策略生成一批轨迹后，必须等待整个批次收集完成才开始优化
• 对于智能体和编码任务，轨迹长度高度可变
• 短轨迹快速完成，长轨迹成为"掉队者"
• GPU 集群大量时间空闲等待最慢的轨迹

1.2 异步 RL 的优势与挑战

异步 RL 的优势：

• 轨迹完成后立即用于训练，无需等待
• 提高 GPU 利用率和时间效率
• 类似 A3C（Asynchronous Advantage Actor-Critic）的思想

异步 RL 的挑战：

1. 策略滞后（Policy Lag）：轨迹可能由多个旧版本模型生成，导致严重的离策略（off-policy）问题
2. 组采样不匹配：GRPO 等组级方法需要等待一组轨迹全部完成，与异步训练不兼容
3. 训练稳定性：现有异步 RL 系统注重吞吐量，但训练稳定性和任务效果探索不足

二、核心方法：SAO

2.1 方法概述

SAO（Single-rollout Asynchronous Optimization） 的核心思想：

1. 单轨迹采样：每个 prompt 只生成一个轨迹，而非 GRPO 的组采样
2. 直接重要性采样（DIS）：使用 token 级别的双向裁剪策略
3. 更强的价值模型训练：支持单轨迹优化的实用性

2.2 稳定异步 RL 的直接双向重要性采样（DIS）

问题：异步 RL 中，轨迹生成期间 rollout 模型可能多次更新，追踪精确的行为概率计算成本过高。

解决方案：

1. 简化重要性采样：

   • 直接使用 rollout 模型作为行为代理
   • 使用当前策略 π_θ 进行重要性采样
   • 丢弃不准确的旧策略 π_θ_old

   概率比计算公式：

   r_t(θ) = exp(log π_θ(a_t|s_t) - log π_rollout(a_t|s_t))
   

2. 双向裁剪与掩码策略：

   • 标准 PPO 只裁剪选定的离策略 token
   • DIS 将信任区域限制在 [1-ε_l, 1+ε_h]
   • 超出范围的 token 完全从梯度计算中掩码

   校准函数：

   f(x; ε_l, ε_h) = x,  if 1-ε_l < x < 1+ε_h
                   = 0,  otherwise
   

优势：

• 消除追踪历史模型集合的计算需求
• 接受可控的离策略偏差，换取计算复杂度的大幅降低
• 实现更激进的裁剪，有效正则化更新步骤

2.3 单轨迹采样减少离策略效应

组采样的问题：

• GRPO 为每个 prompt 采样一组响应（如 8 个）
• 必须等待最慢的样本完成才能开始训练
• 引入"不平衡生成"偏差
• 与在线学习或复杂智能体设置不兼容

单轨迹采样的优势：

• 轨迹生成完成后立即用于训练
• 无等待时间，减少离策略效应
• 兼容在线学习环境

单轨迹采样的挑战：

• 梯度估计方差高（类似 REINFORCE）
• 需要足够好的价值模型来降低方差

2.4 价值模型训练策略

策略 1：更快的价值更新

问题：单轨迹 RL 不稳定的主要来源是策略和价值函数的相互依赖。

解决方案：

• 解耦策略和价值模型的优化频率
• 每次策略更新，执行 K 次价值网络更新（K>1）
• 实验中设置 K=2

效果：

• 价值估计更快适应当前策略
• 减少优势估计的方差

策略 2：冻结注意力的价值模型训练

观察：

• 价值模型训练不稳定，梯度范数显著大于策略模型
• 不稳定性主要来自全注意力层
• MoE 层相对稳定

解决方案：

• RL 训练期间冻结价值模型的注意力模块参数
• 只优化 MoE 投影层

假设：

• 预训练注意力权重已具备足够的语义能力
• 限制优化到 MoE 层可有效正则化价值模型

策略 3：跳过观察的 Token 级 GAE

智能体任务的挑战：

• 轨迹结构：T = [a_0, o_0, a_1, o_1, ...]
• a_i 是模型动作，o_i 是环境反馈
• 从动作结束到观察开始的转换对模型是不连续的
• 跨此边界计算优势会引入噪声

解决方案：跳过观察的 GAE

显式修改 Bellman 目标，绕过环境反馈 token：

Â(a_{i,N}) = δ + γλÂ(a_{i+1,0})

δ = r_t + γV(a_{i+1,0}) - V(a_{i,N})

其中：

• a_{i,N} 是动作 i 的最后一个 token
• a_{i+1,0} 是下一个动作的第一个 token

优势：

• 优势估计仅依赖模型输出
• 过滤环境反馈的随机性

策略 4：扩展价值预训练

观察：价值估计的"冷启动"问题是主要瓶颈。

解决方案：

• 显著增加价值预训练语料库规模
• 提供鲁棒的初始化点
• 促进单轨迹和 TTUR 机制在训练早期的有效性

三、实验结果

3.1 实验设置

数学推理任务：

• 模型：Qwen3-30B-A3B-Thinking2507
• 数据：GPT-OSS-120B 生成的工具集成推理（TIR）数据
• 批大小：128，组大小：1，最大长度：128k tokens
• 策略学习率：1×10^-6
• Token 裁剪：ε_low=0.3, ε_high=5.0
• 价值模型学习率：5×10^-6

编码智能体任务：

• 使用 OpenHands 作为 scaffold
• 最大 300 次交互轮次
• 128k token 上下文预算
• Token 裁剪：ε_low=0.8, ε_high=3.0

3.2 主要结果

数学推理基准测试

关键发现：

• SAO 在所有数学推理基准上超越所有基线
• 标准 GRPO 在约 160 步训练后性能崩溃
• SAO 稳定训练约 1000 步

编码基准测试（SWE-Bench Verified）

3.3 消融实验

关键发现：

• 所有变体性能均下降，验证每个设计的必要性
• 单次价值更新不足以准确追踪快速策略变化
• 冻结注意力帮助正则化价值模型优化
• Running mean 方法性能远不如 SAO

3.4 训练动态分析

更快价值更新的效果

• SAO 在约 400 步后展示显著更高的解释方差
• 表明价值收敛更快，与策略分布更好对齐

价值模型梯度

• 全参数价值训练展示显著更大的梯度范数
• 冻结注意力策略维持更低且更平滑的梯度范数
• 暗示更好的数值稳定性

裁剪 Token 比例

• VAPO 维持接近零的裁剪比例，但无法有效门控离策略更新
• 在约 90 步快速训练崩溃
• SAO 的 DIS 策略有效稳定训练

3.5 在线学习模拟

任务设计：

• 模拟在线写作任务
• 反馈信号：用户偏好的语言风格
• 奖励标准依次调整：可爱、中二病、古典

结果：

• SAO 在每次奖励偏好转移后快速策略重对齐
• 在不同风格原型之间转换以维持环境反馈的遵循
• Running Mean 基线展示明显的适应滞后
• SAO 的价值批评器动态追踪奖励转移

四、技术亮点与启示

4.1 核心创新点

1. 单轨迹异步优化：

   • 打破组采样的同步屏障
   • 实现真正的异步训练
   • 兼容在线学习环境

2. 直接双向重要性采样（DIS）：

   • 简化历史模型追踪
   • 双向裁剪 + 掩码策略
   • 平衡离策略偏差与计算效率

3. 价值模型训练四策略：

   • 更快价值更新（K=2）
   • 冻结注意力
   • 跳过观察的 GAE
   • 扩展价值预训练

4.2 工程实践启示

1. 异步 RL 的实用性：

   • SAO 证明异步 RL 可以稳定训练千步级别
   • 在智能体任务上持续超越 GRPO
   • 为大规模 RL 训练提供新范式

2. 价值模型的重要性：

   • 单轨迹 RL 高度依赖价值模型质量
   • 冷启动问题是关键瓶颈
   • 需要专门的价值预训练策略

3. 在线学习的可行性：

   • 单轨迹策略天然适合在线学习
   • 快速适应环境变化
   • 为持续学习提供技术基础

4.3 局限性与未来方向

局限性：

• 实验聚焦大规模智能体推理和编码任务
• 结论可能不直接转移到小模型或非智能体 RLHF
• 依赖训练好的价值模型和 rollout 日志概率

未来方向：

• 扩展到更小的模型
• 探索非智能体 RLHF 设置
• 研究密集奖励和短轨迹环境
• 加强在线学习的安全保障和监控

五、总结

SAO 是异步 RL 领域的重要进展，通过单轨迹采样和直接双向重要性采样，解决了异步训练的稳定性和离策略挑战。在智能体推理和编码任务上，SAO 一致超越 GRPO 基线，并在模拟在线学习中展示快速适应能力。

核心价值：

• 证明异步 RL 可以稳定且高效
• 为大规模智能体训练提供新范式
• 推动在线学习和持续学习的发展

实际应用：

• 已成功部署于 GLM-5.2 模型（750B-A40B）的智能体 RL 流程
• 为开源模型的 RL 训练提供可复现方案
• 为智能体系统的持续优化提供技术基础

参考文献

1. Hou, Z., Li, Y., Tang, J., & Dong, Y. (2026). Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning. arXiv:2607.07508

2. Shao, Z. et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv:2402.03300

3. Yue, Y. et al. (2025). VAPO: Efficient and Reliable Reinforcement Learning for Advanced Reasoning Tasks. arXiv:2504.05118

4. Fu, W. et al. (2025). AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning. arXiv:2505.24298

5. GLM Team et al. (2025). GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models. arXiv:2508.06471